---
title: "生信入门基础"
author: "Liang XZ"
output: 
  flexdashboard::flex_dashboard:
    html_document: default
    vertical_layout: fill
    social: menu
    source_code: embed
---

```{r setup, include=FALSE}
knitr::opts_chunk$set(collapse = TRUE,comment = "#>")

options(kableExtra.latex.load_packages = FALSE)
library(kableExtra)
library(magrittr)
knitr::opts_chunk$set(echo = FALSE, message=FALSE, warning=FALSE, out.width = '100%')

xfun::session_info('DT')
library(flexdashboard)
library(tidyverse)
library(ggplot2)
library(data.table)
```



Index
=====================================

Inputs {.sidebar}
-------------------------------------



**目录**

* 引言：生信图谱
* 第一章：R语言
* 第二章：Linux基础
* 第三章：生信常用软件及格式
* 第四章：Github介绍
* 第五章：生信流程介绍

Column {.tabset} 
-------------------------------------

### 引言
```{r, eval = T, echo = F,  size="small", fig.align = 'right', fig.height = 15, fig.width = 14, out.width="100%", cache=FALSE,warning=FALSE}

knitr::include_graphics("data/cover.png")
```

第一章
=====================================

Inputs {.sidebar}
-------------------------------------



**第一章 R语言**

* 学会使用tidyverse包
* 掌握tibble数据格式
* 学会数据导入/输出
* 数据基本操作
* ggplot2画图
* Rmarkdown



Column {.tabset} 
-------------------------------------

### 1. Rstudio平台




#### 1.1 书籍推荐

* [**R for data science**](http://www.allitebooks.org/r-for-data-science-2/)
* [**Github**](https://github.com/hadley/r4ds)




#### 1.2 R语言安装

* 安装方法参考[网页链接](https://zhuanlan.zhihu.com/p/31161726)
* Windows/Mac : [官网下载](https://mirrors.tuna.tsinghua.edu.cn/CRAN/)




#### 1.3 Rstudio安装

* Windows/Mac: [官网下载](https://www.rstudio.com/products/rstudio/download/#download)
* Rstudio工作界面
```{r, eval = T, echo = F,  size="small", fig.align = 'center', fig.height = 3, fig.width = 3, out.width="50%", cache=FALSE,warning=FALSE}

knitr::include_graphics("data/Rstudio.png")
```



#### 1.4 R常用包安装/加载

* 画图：ggplot2
```{r, eval = F, echo = T}
# 安装包，此处引号不可省略
install.packages("ggplot2")

# 加载
library(ggplot2)

# 了解用法
?ggplot
```



* tibble数据格式: tidyverse 
```{r, eval = F, echo = T}
# 安装包
install.packages("tidyverse")

# 加载
library(tidyverse)

# 了解用法
?tidyverse
```



* 判断安装/加载
```{r, eval = F, echo = T}
# 判断包是否安装，如未安装刚先安装再加载
if(!require(tidyverse))install.packages("tidyverse")
library(tidyverse)
```



### 2. tidyverse

#### 2.0 网上资源
* [初学者学习tidyverse](https://www.jianshu.com/p/f3c21a5ad10a)
* [数据清洗转换](https://blog.csdn.net/ss_fisher/article/details/80919026)
* [tidyverse基础知识汇总](https://www.cnblogs.com/YangCool/p/9944217.html)



#### 2.1 数据导入
```{r, eval = T, echo = T}
# 加载所需包和表达量数据
library(tidyverse)   
fpkm <- read_tsv("data/fpkm.txt", col_names = T)  # 默认有表头，csv文件可用read_csv来加载
fpkm  
```
注：注意观察第一行所显示数据格式 tibble




#### 2.2 文件输出
```{r, eval = F, echo = T}
# 文件写出
write_tsv(fpkm, "data/fpkm_v2.txt", col_names = T)  # txt文件输出
write_csv(fpkm, "data/fpkm_v2.csv", col_names = T)  # csv文件输出
```



#### 2.3 空值处理
```{r, eval = F, echo = T}
# 将LF列空值删除
fpkm %>% filter(!is.na(LF))

# 注意此处用到了几个语法：
# 1. %>%为管道符，即下一步；
# 2. is.na()用来判断是否为空值，!is.na()当然为非空, !is.na(LF)为判断LF列非空；
# 3. filter()为按条件过滤，满足条件地留下，不满足条件的删除；
# 4. 管道符的使用不会更改初始fpkm的变量
# 5. fpkm_filter <- fpkm %>% filter(!is.na(LF)) 可将结果导入新变量，R推荐"<-" 替代等号；

# 空值赋值为0
fpkm[is.na(fpkm)] <- 0   # fpkm中的NA值已被替换为0
fpkm   
```



#### 2.4 画柱状图
```{r, eval = T, echo = T, fig.align = 'center', fig.height = 6, fig.width = 10, out.width="50%", fig.showtext = T, cache=FALSE, fig.cap="Fig. GR柱状图", warning=FALSE}
#library(ggplot2)  

fpkm[is.na(fpkm)] <- 0 # 空值替换为0
dat <- fpkm %>% gather(`AM`, `AF`, `LM`, `LF`, key = "Group", value = "FPKM") %>%
  mutate(Name = paste0(Species, "_", Group)) %>% filter(str_detect(Gene, "GR"))
  
# 注意此处用到了几个语法：
# 1. %>% 管道符；
# 2. gather() 将AM AF LM LF四列数据合并为两列，即Group和FPKM；
# 3. mutate() 增加新变量；
# 4. paste0 将两个变量连起来；
# 5. filter() 条件过滤；

ggplot(data = dat, mapping = aes(x = Gene, y = log10(FPKM + 1), fill = Name)) +
  geom_bar(stat="identity") + labs(x="") +
  theme(axis.text.x=element_text(size = 10, angle= -45, hjust = -0.001, vjust = 1)) 

```



#### 2.5 画OBP热图
```{r, eval = T, echo = T, fig.align = 'center', fig.height = 6, fig.width = 4, out.width="40%", fig.showtext = T, cache=FALSE, fig.cap="Fig. OBP热图", warning=FALSE}
library(pheatmap)
 
union <- fpkm %>% mutate(Gene_name = paste0(Species, Gene)) %>% 
  filter(str_detect(Gene, "OBP")) %>%
  select(Gene_name, AM, AF, LM, LF)

# 注意此处用到了几个语法：
# 1. %>% 管道符；
# 2. mutate() 增加新变量；
# 3. paste0 将两个变量连起来；
# 4. filter() 条件过滤；
# 5. str_detect 字符匹配，能够从Gene中匹配到OBP为TRUE， filter()会保留TRUE的行；
# 6. select() 选择想要保留的列；

union <- as.data.frame(union)  # tibble转换为data.frame格式
rownames(union) <- union[,1]     # 设置首列为行名称
union <- union[,-1]              # 只保留4列数据
union <- log10(union + 1)        # 表达量数据差异大，应取log值 

# 画图
pheatmap(union, color=colorRampPalette(rev(c("red", "linen")))(10), 
         legend = T, show_rownames = TRUE, 
         fontsize_row = 4, cellwidth = 55, 
         cluster_rows = F, cluster_cols = F, border_color = NA)

```




#### 2.6 物种BmorOBP热图
```{r, eval = T, echo = T, fig.align = 'center', fig.height = 6, fig.width = 4, out.width="40%", fig.showtext = T, cache=FALSE, fig.cap="Fig. BmorOBP热图", warning=FALSE}
library(pheatmap)
fpkm[is.na(fpkm)] <- 0    # 空值替换为0
union <- fpkm %>% mutate(Gene_name = paste0(Species, Gene)) %>% 
  filter(str_detect(Gene, "OBP") & Species == "Bmor") %>% 
  select(Gene_name, AM, AF, LM, LF)

# 注意此处用到了几个语法：
# 1. filter() 增加2个条件同时满足；

union <- as.data.frame(union)  # tibble转换为data.frame格式
rownames(union)<-union[,1]     # 设置首列为行名称
union<-union[,-1]              # 只保留4列数据
union<-log10(union + 1)        # 表达量数据差异大，应取log值 

# 画图
 pheatmap(union, color=colorRampPalette(rev(c("red", "linen")))(10), 
          legend=T, show_rownames = TRUE, 
          fontsize_row = 4, cellwidth = 55, 
         cluster_rows = F, cluster_cols = F, border_color = NA)

```

### 3. tibble




#### 3.1 了解tibble数据格式
```{r, eval = T, echo = T}
# R中传统的data.frame是很老的数据结构，而在新的tidyverse框架中提出了新的tibble来替代;

# 查看tidyverse内置数据mpg
mpg  
```



#### 3.2 ggplot画个图
* [ggplot画图](https://www.jianshu.com/p/9c1065904d53)
* [ggplot分面画囷](https://blog.csdn.net/u014801157/article/details/24372507)

```{r, eval = T, echo = T, fig.align = 'center', fig.height = 6, fig.width = 10, out.width="60%", fig.showtext = T, cache=FALSE, fig.cap="", warning=FALSE}
# 散点图
ggplot(data = mpg) + 
  geom_point(mapping = aes(x = displ, y = hwy, color = class))
# 分面作图使用 facet_wrap()
ggplot(data = mpg) + 
  geom_point(mapping = aes(x = displ, y = hwy)) + 
  facet_wrap(~ class, nrow = 2)
# 柱状图
ggplot(data = diamonds) + 
  geom_bar(mapping = aes(x = cut, fill = cut))
# 箱形图
ggplot(data = mpg, mapping = aes(x = class, y = hwy)) + 
  geom_boxplot()
# 箱形图(x y轴互换)
ggplot(data = mpg, mapping = aes(x = class, y = hwy)) + 
  geom_boxplot() + coord_flip()

```



#### 3.3 tibble基本操作
* 过滤 filter()
```{r, eval = T, echo = T}
# 使用内置数据 flights
library(nycflights13)
flights
# 过滤 filter()
flights %>% filter(month == 1, day == 1)
# 单变量多条件过滤
flights %>% filter( month %in% c(11, 12)) 
# 更多精彩内容详见 R for data science 一书！！！ 

```



* 数据选择 select()
```{r, eval = T, echo = T}
flights_select <- flights %>% select(year:day, ends_with("delay"), distance, air_time)

# 从 flights中选择 从year到day列，以delay结尾的列，及distance、air_time列
# 并将所选内容赋值新变量 flights_select

flights_select
```



* 增加新变量 mutate()
```{r, eval = T, echo = T}
flights_select %>% mutate(
  gain = arr_delay - dep_delay, 
  speed = distance / air_time * 60)
# 只保留新变量使用 transmute()
flights_select %>% transmute(
  gain = arr_delay - dep_delay, 
  speed = distance / air_time * 60)
```



* 统计 summarize()， 和分组 group_by()联用
```{r, eval = T, echo = T}
flights %>% group_by( year, month, day) %>% 
  summarize(mean = mean(dep_delay, na.rm = TRUE))
# 更多精彩内容详见 R for data science 一书！！！
```




第二章
===================================

Inputs {.sidebar}
-------------------------------------



**第二章 Linux基础**

* 掌握基础linux命令
* sed/awk/vim工具进阶
* 编写shell脚本




Column {.tabset} 
-------------------------------------

### 1. linux基础




#### 1.0 网络资源
* [Linux入门学习](https://blog.csdn.net/zhanglijingCSDN/article/details/82494312)
* [Linux新手入门教程](https://blog.csdn.net/zhanglijingCSDN/article/details/82494312)




#### 1.1 必掌握基础
```{r}
command_list <- "
Command; Notes; 用法
cd     ;切换工作路径 ; cd 目录名称
mkdir  ;新建工作目录 ; mkdir [参数] 目录名称
less   ;查看文件     ; less file
head   ;显示前10行   ; head [参数] file
tail   ;显示末尾10行 ; tail [参数] file
wc     ;统计         ; wc [参数] file
grep   ;提取         ; grep [参数] file
pwd    ;当前工作目录 ; pwd
top    ;动态监视进程 ; top
kill   ;杀死进程     ; kill[参数] [进程PID]
wget   ;下载         ; wget [参数] 下载地址
...    ;...          ;...
" 
command_dat <- read.delim(text = command_list, stringsAsFactors = FALSE,header = TRUE, sep = ";",
                 check.names = FALSE) 
knitr::kable(command_dat, booktabs = TRUE, longtable = FALSE, escape = TRUE, align = 'c', linesep = '\\addlinespace', booktabs = TRUE) %>%
    kable_styling(full_width = T, latex_options = c("hold_position")) %>% 
    add_header_above(c("表. Linux必掌握基础命令" = 3), bold = T)

```


### 2. linux进阶




#### 2.1 sed
```{bash, eval = T, echo = T} 
# 计数统计
wc -l /Users/liang/Desktop/github/Bioinformatics_learn/data/fpkm.csv
```

```{bash, eval = T, echo = T} 
# 将OBP替换为obp
less /Users/liang/Desktop/github/Bioinformatics_learn/data/fpkm.csv | grep 'OBP'| \
  sed 's/OBP/obp/'| head 

# 注意此处用到的语句：
# 1. less 查看文件
# 2. | 为linux中的管道符，使用频率非常高
# 3. grep 为提取能够匹配的行
# 4. sed 替换
# 5. head 只显示前十行；对应的tail只显示末尾10行

```



#### 2.2 awk
```{bash, eval = T, echo = T} 
# 在行前加数字 
less /Users/liang/Desktop/github/Bioinformatics_learn/data/fpkm.csv | \
  awk -F '\,' 'BEGIN{n=1}{print n"\t"$1"\t"$2"\t"$(NF-1)"\t"$NF; n++}'  | \
  head 

# 注意此处用到的语句：
# 1. -F ',' 指以逗号分割
# 2. $1为第一列，$NF为最后一列， $(NF-1)为倒数第二列
# 3. head 只打印出前10行，避免打印内容太多造成刷屏
```



```{bash, eval = T, echo = T} 
# 累加求和
# 以求OBP LM FPKM加和为例 
less /Users/liang/Desktop/github/Bioinformatics_learn/data/fpkm.csv | \
  grep 'OBP' | \
  awk -F ',' '{sum=sum+$3}END{print "OBP_LM FPKM\t"sum}' 
```



```{bash, eval = T, echo = T} 
# fastq2fasta
less /Users/liang/Desktop/github/Bioinformatics_learn/data/test.fastq | \
  awk '{if(NR%4 == 1){print ">" substr($0, 2)}}{if(NR%4 == 2){print}}' | \
  head -4
```



#### 2.3 vim
vim是linux编辑器，需要自行上网查询，使用频率非常高，掌握后对于编辑文件非常方便；

另 微软VScode 可实现remote-ssh登陆服务器，可实现服务端文件编辑，非常方便，极力推荐！！！




#### 2.4 shell/bash

以上运行linux命令均可写为shell bash脚本，直接运行bash *.sh即可，方便运行，还可整合为流程脚本，非常方便！！！

```{bash, eval = T, echo = T} 
# 仍以fastq2fasta为例，将linux命令写入bash脚本 
less /Users/liang/Desktop/github/Bioinformatics_learn/data/fastq2fasta.sh
```



```{bash, eval = T, echo = T} 
# 仍以fastq2fasta为例, 运行脚本 
bash /Users/liang/Desktop/github/Bioinformatics_learn/data/fastq2fasta.sh | head -4
```



实现脚本传参
```{bash, eval = T, echo = T} 
# 整理流程需要传参
# 将fastq文件作为参数传输

bash /Users/liang/Desktop/github/Bioinformatics_learn/data/fastq2fasta_argv.sh \
  /Users/liang/Desktop/github/Bioinformatics_learn/data/test.fastq | \
  head -4  
```




第三章
===================================

Inputs {.sidebar}
-------------------------------------



**第三章 生信常用软件及格式**

* 了解常用生信软件
* 了解常用数据格式
* NCBI资源利用




Column {.tabset} 
-------------------------------------

### 生信常用软件
```{r eval=TRUE, echo=FALSE, results='markup', include=TRUE, cache=FALSE, message=FALSE, warning=FALSE, error=TRUE, fig.cap=NULL, out.width='100%'}
text <- "
类别  | 软件  | 软件说明 | 备注
质控  | fastqc| 下机数据质控 | [github](https://github.com/s-andrews/FastQC) / [官网](http://www.bioinformatics.babraham.ac.uk/projects/fastqc/) / [软件安装及使用](https://www.cnblogs.com/lmt921108/p/6900416.html)
质控  | Trimmomatic| 下机数据质控| [github](https://github.com/timflutre/trimmomatic) / [软件安装及使用](http://www.usadellab.org/cms/index.php?page=trimmomatic) / [paper](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4103590/)
质控  | SolexaQA| 下机数据质控 | [软件安装及使用](http://blog.sina.com.cn/s/blog_7f1542270101gccz.html) / [官网](http://solexaqa.sourceforge.net/) [paper](https://bmcbioinformatics.biomedcentral.com/articles/10.1186/1471-2105-11-485)
SRA解压 | fastq-dump | 解压NCBI SRA格式为fastq格式| [软件安装及使用](https://blog.csdn.net/j_fun/article/details/60745262)
比对  | blast |  NCBI 比对软件 | [软件安装及使用](https://blog.csdn.net/flyfrommath/article/details/52945586)  / [算法](https://blog.csdn.net/huangliangbo0805/article/details/40868269)   
比对  | bwa   | 短序列比对软件 | [软件安装及使用](https://www.cnblogs.com/emanlee/p/4316573.html) / [算法](https://www.cnblogs.com/leezx/p/6226717.html)
比对  | bowtie2 | 短序列比对软件| [软件安装及使用](http://blog.sciencenet.cn/blog-830496-750216.html) / [算法](http://blog.sina.com.cn/s/blog_751bd9440102v2yj.html)
比对  | kallisto | 基于kmer比对软件, 速度极快 | [软件安装及使用](http://blog.sina.com.cn/s/blog_1704ff73a0102wzkl.html) / [paper](https://www.nature.com/articles/nbt.3519)
比对  | STAR | RNA-seq序列比对工具| [软件安装及使用](https://www.jianshu.com/p/fa388b21d1de) / [github](https://github.com/alexdobin/STAR)
sam处理  | samtools | 操作sam和bam文件的工具合集 | [软件安装及使用](https://www.jianshu.com/p/6b7a442d293f) / [github](https://github.com/samtools/samtools) 
组装  | SOAPdenovo| 华大出品组装软件 | [软件使用](https://www.cnblogs.com/Formulate0303/p/6879841.html)
组装  | SPAdes |基因组组装软件 |  [软件安装及使用](https://www.plob.org/article/7861.html)
组装  | IDBA | 基因组组装软件 |[软件安装及使用](http://118.31.76.100:100/ngs/bin/idba-ud/)
转录组组装 | Trinity   | 转录组无参组装 | [软件安装及使用](https://www.jianshu.com/p/8518a23255f8)
有参转录组 | TopHat    | 有参转录组比对软件 | [软件安装及使用](https://blog.csdn.net/g863402758/article/details/78454818)
有参转录组 | Cufflinks | 用于基因表达量的计算和差异表达基因的寻找 | [软件安装及使用](https://blog.csdn.net/g863402758/article/details/52965752)
聚类  | | |
构树  | | |
"

df <- read.delim(text = text, stringsAsFactors = FALSE,
                 header = TRUE, sep = "|",
                 check.names = FALSE)
knitr::kable(df, booktabs = TRUE, longtable = FALSE, escape = TRUE, align = 'c', linesep = '\\addlinespace', booktabs = TRUE) %>%
    kable_styling(full_width = T, latex_options = c("hold_position")) %>% add_header_above(c("常用生信软件集合" = 4), bold = T)

```

### 生信常用数据格式
```{r eval=TRUE, echo=FALSE, results='markup', include=TRUE, cache=FALSE, message=FALSE, warning=FALSE, error=TRUE, fig.cap=NULL, out.width='100%'}
text <- "
数据格式   | 格式介绍             | 备注
[fastq](https://blog.csdn.net/ltbylc/article/details/24346231)  | 下机数据存储格式     | 下机原始数据，多以fastq/fq或压缩格式为后缀
[fasta](https://blog.csdn.net/ltbylc/article/details/24346231)  | 核苷酸序列或氨基酸序列格式  | 序列存储格式，多以fasta/fna/fa为后缀
[NCBI SRA数据库](https://blog.csdn.net/u012150360/article/details/70556186) | NCBI 存储reads格式| wget下载后使用fastq-dump解压成fastq格式
[blast m8](https://shengxin.ren/article/46) | blast比对输出格式 | blast+对应的参数是-outfmt 6
[gff](https://www.cnblogs.com/djx571/p/9497707.html)  |  基因组注释信息格式 | gff/gtf是贮存注释信息的文件格式  
[sam](https://blog.csdn.net/u012150360/article/details/70556186)  | 比对结果格式 |  bwa / bowtie输出格式
[vcf](https://blog.csdn.net/u012150360/article/details/70556186) | 突变信息的文本格式 | 使用bcftools软件处理
"

df <- read.delim(text = text, stringsAsFactors = FALSE,
                 header = TRUE, sep = "|",
                 check.names = FALSE)
knitr::kable(df, booktabs = TRUE, longtable = FALSE, escape = TRUE, align = 'c', linesep = '\\addlinespace', booktabs = TRUE) %>%
    kable_styling(full_width = T, latex_options = c("hold_position")) %>% add_header_above(c("常用生信数据格式集合" = 3), bold = T)

```



About
====================================

Inputs {.sidebar}
-------------------------------------


Column 
-------------------------------------

### **欢迎入坑**



* 生信命令不需要背，但需掌握常用的一些命令；
* 遇到问题一定要百度、谷歌、必应搜索，你遇到的问题或许别人已经给出解决方案；
* 学以致用效率最高，建议从 [**R for data science**](http://www.allitebooks.org/r-for-data-science-2/) 入手，掌握一些基础数据分析、画图能力；
* 循序渐进，逐步入门，共同进步~



### **说明**




* 生信入门三年，学点儿皮毛，整理不完善之处请谅解；
* 简单整理这几年入门趟的坑儿，希望能够入门效率高些；
* 整理基础知识，也是对自己知识的沉淀，得空余时间整理，速度偏慢；
* ...



### **生信履历**



```
  2014.08 - 2015.12 : 植保所昆功组 - 转录组   - 生信入门 + 自学；
  2015.12 - 2017.05 : 诺禾致源     - 基因组   - perl/R/bash；
  2017.06 - 2018.12 : 量化健康     - 宏基因组 - perl/R/bash/python/docker/git/ML;
  2018.12 - 至今    : 先声诊断     - Nanopore - 数据库/机器学习 + 成长中~；
  
```